随着消费者显示和商业VR平台的兴起，虚拟现实（VR）变得无处不在。这样的显示器需要低潜伏期和高质量的合成成像，并减少了计算开销。神经渲染的最新进展显示出通过虚拟或物理环境的基于图像的表示，可以在3D计算机图形中解锁新的可能性。具体而言，神经辐射场（NERF）表明，可以实现光真逼真的质量和连续的3D场景变化，而不会丧失依赖观点的效果。尽管NERF可以显着利益VR应用程序的渲染，但它面临着高度视野，高分辨率和立体/中心观看的独特挑战，通常会导致渲染图像的低质量和高潜伏期。在VR中，这不仅会损害互动经历，还可能引起疾病。为了解决VR中的六级自由主义者和立体声的问题，我们介绍了第一个注视 - 矛盾的3D神经表示和视图合成方法。我们将视觉和立体声音的人类心理物理学融入了3D风景的以自我为中心的神经表示中。然后，我们共同优化了延迟/性能和视觉质量，同时相互弥合人类的感知和神经场景合成以实现感知高质量的沉浸式相互作用。我们进行了客观分析和主观研究，以评估方法的有效性。我们发现，我们的方法显着降低了潜伏期（与NERF相比，时间降低了99％），而不会损失高保真渲染（感知上与完整的地面真相相同）。提出的方法可以作为迈向未来VR/AR系统的第一步，该系统可实时捕获，传送和可视化远程环境。
translated by 谷歌翻译